Ông sinh ra ở Boston vào ngày 16 tháng 2 năm 1838, trong một gia đình nổi bật nhất của Hoa Kỳ. Cha mẹ của ông là Charles Francis Adams, Sr. (1807–1886) và Abigail Brooks (1808–1889)..[2] Cả ông nội của ông, John Quincy Adams và ông cố, John Adams, một trong những người nổi bật nhất trong số Nhóm lập quốc Hoa Kỳ, đều đã từng là Tổng thống Hoa Kỳ. Ông ngoại của ông, Peter Chardon Brooks, là một trong những thương gia giàu có và thành công nhất Massachusetts. Một cụ cố khác, Nathaniel Gorham, đã ký bản Hiến pháp.